Kimmel dilahirkan di Brooklyn, New York, dan dibesarkan di kawasan kejiranan Mill Basin serta anak sulung daripada tiga kanak-kanak daripada Joan (née Iacono), seorang suri rumah dan James John Kimmel, seorang eksekutif IBM.

Beliau dibesarkan sebagai seorang Katolik dan sebagai seorang anak berkhidmat sebagai pelayan mezbah. Ibu Kimmel adalah keturunan Itali; daripada datuk moyangnya-datuk dan neneknya adalah pendatang Jerman, dan nama keluarga keluarganya adalah "Kümmel" beberapa generasi kembali.

Keluarganya berpindah ke Las Vegas, Nevada, ketika berusia sembilan tahun. Beliau berkelulusan dari Sekolah Tinggi Ed W. Clark di sana dan kemudian belajar di Universiti Nevada, Las Vegas (untuk satu tahun) dan Universiti Negeri Arizona (dua tahun). Beliau gagal untuk mendapatkan ijazah universiti. Beliau menerima ijazah kehormat dari UNLV pada tahun 2013.

Bapa saudara Kimmel, Frank Potenza ("Uncle Frank"), muncul di Jimmy Kimmel Live! sebagai tetamu tetap dari 2003 sehingga kematiannya pada tahun 2011.